由于(1)低资源语言的数据稀缺,(2)培训和清爽100+单语言模型的昂贵计算成本,培训和部署混合语音识别的变压器LMS以低资源语言重新排行第二通道是具有挑战性的。,以及(3)考虑流量稀疏的效率低下。在这项研究中,我们提出了一种新的方法,将多个低资源的区域分组在一起,并优化ASR中多语言变压器LMS的性能。我们的本地组多语言变压器LMS的表现优于传统的多语言LM,以及降低维护成本和运营费用。此外,对于部署单语模型的低资源但人口流量的地区是可行的,我们表明,对我们的语言环境组的多语言LMS进行微调可产生比基线单语LMS更好的单语LM候选者。
translated by 谷歌翻译
Neural transducer is now the most popular end-to-end model for speech recognition, due to its naturally streaming ability. However, it is challenging to adapt it with text-only data. Factorized neural transducer (FNT) model was proposed to mitigate this problem. The improved adaptation ability of FNT on text-only adaptation data came at the cost of lowered accuracy compared to the standard neural transducer model. We propose several methods to improve the performance of the FNT model. They are: adding CTC criterion during training, adding KL divergence loss during adaptation, using a pre-trained language model to seed the vocabulary predictor, and an efficient adaptation approach by interpolating the vocabulary predictor with the n-gram language model. A combination of these approaches results in a relative word-error-rate reduction of 9.48\% from the standard FNT model. Furthermore, n-gram interpolation with the vocabulary predictor improves the adaptation speed hugely with satisfactory adaptation performance.
translated by 谷歌翻译
由摩尔定律驱动的计算系统性能的改善已改变了社会。由于这种硬件驱动的收益放缓,对于软件开发人员而言,专注于开发过程中的性能和效率变得更加重要。尽管几项研究表明了这种提高的代码效率的潜力(例如,与硬件相比,2倍更好的世代改进),但在实践中解锁这些收益是充满挑战的。关于算法复杂性以及硬件编码模式的相互作用的推理对于普通程序员来说可能是具有挑战性的,尤其是当与围绕开发速度和多人发展的务实约束结合使用时。本文旨在解决这个问题。我们分析了Google Code JAM竞争中的大型竞争编程数据集,并发现有效的代码确实很少见,中位数和第90%的解决方案之间的运行时间差异为2倍。我们建议使用机器学习以提示的形式自动提供规范反馈,以指导程序员编写高性能代码。为了自动从数据集中学习这些提示,我们提出了一种新颖的离散变异自动编码器,其中每个离散的潜在变量代表了不同的代码编辑类别,从而提高了性能。我们表明,此方法代表代码效率的多模式空间比序列到序列基线更好地编辑,并生成更有效的解决方案的分布。
translated by 谷歌翻译
在药物发现中,分子优化是在所需药物性质方面将药物候选改变为更好的阶梯。随着近期人工智能的进展,传统上的体外过程越来越促进了Silico方法。我们以硅方法提出了一种创新的,以通过深生成模型制定分子并制定问题,以便产生优化的分子图。我们的生成模型遵循基于片段的药物设计的关键思想,并通过修改其小碎片来优化分子。我们的模型了解如何识别待优化的碎片以及如何通过学习具有良好和不良性质的分子的差异来修改此类碎片。在优化新分子时,我们的模型将学习信号应用于在片段的预测位置解码优化的片段。我们还将多个这样的模型构造成管道,使得管道中的每个模型能够优化一个片段,因此整个流水线能够在需要时改变多个分子片段。我们将我们的模型与基准数据集的其他最先进的方法进行比较,并证明我们的方法在中等分子相似度约束下具有超过80%的性质改善,在高分子相似度约束下具有超过80%的财产改善。 。
translated by 谷歌翻译
下一篮子推荐考虑将一组项目推荐到用户将作为一个整体购买的下一个篮子。在本文中,我们为下一个篮子推荐开发了一种具有偏好,普及和转换(M2)的新颖混合模型。该方法在下一个篮子生成过程中模拟了三个重要因素:1)用户在项目中的“全球偏好”,2)项目的“全球受欢迎者和3”的过渡模式。与现有的基于内部网络的方法不同,M2不使用复杂的网络来模拟项目之间的转换,或为用户生成嵌入品。相反,它具有基于简单的编码器解码器的方法(ED-Trans),以更好地模拟项目之间的转换模式。我们将M2与不同组合的组合进行了比较,其中有5个现有的下一篮子推荐方法在4个公共基准数据集上推荐第一个,第二和第三篮子。我们的实验结果表明,M2显着优于所有任务中所有数据集的最先进的方法,提高了高达22.1%。此外,我们的消融研究表明,在推荐性能方面,ED-Trans比经常性神经网络更有效。我们还对下一个篮子推荐评估进行了彻底讨论了各种实验协议和评估指标。
translated by 谷歌翻译